304 Wissenschaftler:innen aus 33 Ländern halten auch den aktuellen Entwurf der Chatkontrolle-Verordnung für nicht akzeptabel. Zu den Initiator:innen des offenen Briefes (PDF) gehören IT-Koryphäen wie Carmela Troncoso. Die Unterzeichnenden erklären, dass der aktuelle Entwurf nur geringfügige Änderungen gegenüber früheren Versionen beinhalte und die Grundprobleme bestehen bleiben würden. Sie warnen unter anderem vor anlassloser Massenüberwachung, falschen Verdächtigungen, dem Ende von zuverlässiger Verschlüsselung und vor Problemen mit der IT-Sicherheit.
Die EU-Kommission will mit der so genannten CSAM-Verordnung gegen sexualisierte Gewalt gegen Kinder vorgehen. Sie möchte dafür Internetdienste per Anordnung verpflichten, die Inhalte ihrer Nutzer auf Straftaten zu durchsuchen und bei Verdacht an Behörden zu schicken. Das EU-Parlament bezeichnet das seit fast einem Jahr als Massenüberwachung und fordert, nur unverschlüsselte Inhalte von Verdächtigen zu scannen.
Die EU-Staaten können sich bisher nicht auf eine gemeinsame Position einigen. Mehrere Ratspräsidentschaften sind daran gescheitert, eine Einigung zu erzielen. Jetzt versucht es Ungarn. Die ungarische Ratspräsidentschaft schlägt vor, dass Dienste-Anbieter zunächst nur bekannte Straftaten suchen müssen. Neues Material und Grooming soll erst später verpflichtend werden, wenn die Technik gut genug ist.
Im August haben die Ständigen Vertreter über diesen neuen Vorschlag verhandelt. Wir haben ein weiteres Mal das eingestufte Protokoll der Verhandlungen im Volltext veröffentlicht. In der ersten Oktoberwoche könnte es nun im Rat zu einer Abstimmung kommen. Die bisherige Sperrminorität der Gegner-Länder, die das Überwachungsprojekt bislang verhindert, wackelt derzeit.
„Macht den Zweck der Ende-zu-Ende-Verschlüsselung völlig zunichte“
Die Wissenschaftler:innen sehen mit dem „Kompromissvorschlag“ die elementaren Probleme der Chatkontrolle nicht ausgeräumt. Eines der großen Probleme sei, dass die derzeitige Erkennungstechnologie für Inhalte fehleranfällig sei. Die Forscher:innen gehen davon aus, dass die Technik „eine sehr große Anzahl falsch-positiver Ergebnisse generieren“ wird. „Jeder dieser Fehler führt dazu, dass unschuldige Benutzer wegen abscheulicher Verbrechen angezeigt werden“, so die Wissenschaftler weiter. Es gäbe auch nach 20 Jahren Forschung am Thema keine Methode, um das auszuschließen. Es sei zweifelhaft, ob das überhaupt je gelöst werden könne.
Grundsätzlich beinhalte auch der aktuelle Vorschlag, dass die Technik des Client-Side-Scannings eingesetzt werden müsse. „Das Scannen von Bildern vor der Verschlüsselung macht den Zweck der Ende-zu-Ende-Verschlüsselung völlig zunichte“, so die Forscherinnen. Die Verordnung behaupte zwar, dass ein solches Scannen die Ende-zu-Ende-Verschlüsselung respektiere, aber das sei offensichtlich nicht der Fall.
Sie versuchen das Problem mit einem Bild zu erklären. Es sei so, als würde die „Regierung behaupten, dass sie die Vertraulichkeit der Korrespondenz respektiert, indem sie niemals Briefe öffnet, während sie gleichzeitig die Installation von Netzwerkkameras vorschreibt, um allen Bürgern über die Schulter zu schauen, bevor sie jeden Brief in einen Umschlag stecken.“
Wahllos und unverhältnismäßig
Außerdem sei die Anordnung, wessen Inhalte gescannt werden, „wahllos“. Das vorgeschlagene Modell ziele auf alle Bürger:innen ab anstatt die Nutzer:innen zu untersuchen, bei denen die Strafverfolgungsbehörden den begründeten Verdacht haben, dass sie CSAM-Material austauschen. Aus rechtlicher Sicht bedeute dies, dass das Scannen auf Nutzerseite unverhältnismäßig sei und das Grundrecht auf Privatsphäre verletzt werde.
Die Forscherinnen warnen zudem vor einem so genannten „Function Creep“. So sei eine Erweiterung der gesuchten Inhalte auf zum Beispiel Terrorismus zu erwarten, in autoritären Regimes auch das Suchen nach regierungskritischen Inhalten. Einmal eingeführt sei es „ein Leichtes, das Scannen auf alle auf dem Gerät gespeicherten Bilder auszudehnen und die Hash-Datenbank ohne offene demokratische Kontrolle um neue Inhalte“ zu erweitern.
Zu guter Letzt warnt die Wissenschaft auch vor einer Gefährdung der IT-Sicherheit durch die Verordnung. Sie erhöhe die technische Komplexität. „Jeder Fehler könnte es Hackern, Kriminellen oder feindlichen Regierungen ermöglichen, den Inhalt von Geräten gezielt oder in großem Umfang zu scannen“, heißt es weiter im offenen Brief.
Politik sollte die sexualisierte Gewalt an der Wurzel bekämpfen
Statt der technischen Lösung, mit dem Scannen nach Inhalten das Ergebnis des Missbrauchs und der sexualisierten Gewalt gegen Kinder zu bekämpfen, sollte eher die sexualisierte Gewalt selbst in den Fokus gerückt werden. „Zu den bewährten Ansätzen, die von Organisationen wie der UNO zur Beseitigung von Missbrauch empfohlen werden, gehören Aufklärung über Einwilligung, über Normen und Werte, über digitale Kompetenz und Online-Sicherheit sowie umfassende Sexualerziehung, traumasensible Meldestellen und auf Stichwortsuche basierende Interventionen“, so die Wissenschaftler:innen weiter.
Sie empfehlen deswegen „eine deutliche Erhöhung der Investitionen und Anstrengungen zur Unterstützung bestehender bewährter Ansätze zur Beseitigung von Missbrauch und damit auch von missbräuchlichem Material. Solche Ansätze stehen im Gegensatz zu dem aktuellen technologischen Lösungsvorschlag, der darauf abzielt, missbräuchliches Material aus dem Internet zu entfernen, und zwar auf Kosten der Kommunikationssicherheit, mit wenig Potenzial für Auswirkungen auf den Missbrauch von Kindern.“
Offener Brief
Dear Members of the European Parliament,
Dear Member States of the Council of the European Union,
Joint statement of scientists and researchers on the Proposal for the Child Sexual Abuse Regulation (9 September 2024)
In September 2024, the EU Member States are considering an updated proposal of the regulation for client-side scanning, in which providers of applications with end-to-end encrypted communications would be forced to scan the content of all images for known Child Sexual Abuse
Material (CSAM).
Child sexual abuse and exploitation are serious crimes that can cause lifelong harm to survivors. We acknowledge that governments, service providers, and society at large take major responsibility in tackling these crimes. But this cannot be done at any cost. We explain in this open letter why we have strong objections against the proposed regulation.
Background
In July 2023, more than 400 scientists and researchers signed an open letter to express their concerns about the proposed EU Child Sexual Abuse Regulation (https://edri.org/wp-content/uploads/2023/07/Open-Letter-CSA-Scientific-community.pdf). The letter pointed out numerous technical issues but also broader human rights and societal risks. The European Parliament rejected the proposal in November 2023.
In the Spring of 2024, the Belgian presidency presented another version of the proposal to the EU Member States. In May 2024 more than 300 scientists wrote a second letter explaining why this version was still unacceptable: https://nce.mpi-sp.org/index.php/s/eqjiKaAw9yYQF87. In the European council, no consensus was reached on this Spring 2024 proposal, and it was therefore never submitted to parliament.
The new draft regulation of August 2024
Compared to earlier versions, the newest proposal from August 2024 is reduced in scope: the detection of new CSAM content and of grooming in chat and audio using AI are, for now, left as optional. This is only a minor concession, as the Commission can make this detection mandatory in the future. We refer to our open letter from July 2023, where we explained that both goals are technically infeasible and will remain infeasible in the next decade and thus, they should not appear in any form in a regulatory framework.
The latest proposal forces providers of end-to-end encrypted messaging services (iMessage, Matrix, Messenger, Signal, Threema, WhatsApp, Wire but also encrypted email) to check whether users send known CSAM material. The regulation leaves it open how this should be done. The only known approach to perform this verification on encrypted messaging with an acceptable efficiency is client-side scanning: before they are sent, images on a phone are compared with a hashed database of known CSAM content. If a match is detected, the user is reported to law enforcement.
There are several reasons why this proposal remains unacceptable.
- First and foremost, the current detection technology is ineffective: it is very easy to modify an image such that it evades detection (false negatives), which means that only a small fraction of offenders will be reported. In addition, it is trivial to maliciously modify an innocent image such
that it is detected as CSAM (false positives). Given the volume of images to be analysed (all images sent in all messaging services), some of the current designs would generate a very large number of false positives, that would be further increased if we consider malicious modifications. Each of these errors result in innocent users being reported of heinous crimes. To reduce the number of both false negatives and false positives, the hashing algorithms have to be configured in a way that the hashed database will necessarily leak information on the original pictures, which is highly problematic as it could lead to reconstruction of the very CSAM material whose spreading scanning aims to prevent. After twenty years of research on this topic, there is no reliable method to address these problems and it is doubtful whether this problem can be solved at all. - Second, reducing the scope to leave the use of AI to detect new CSAM and grooming as optional does not solve one of the main problems of client-side scanning: scanning images before encryption completely defeats the purpose of end-to-end encryption. While the regulation claims that such scanning respects end-to-end encryption, it is obvious that it does not. An analogy would be that the government would claim that it respects the confidentiality of correspondence by never opening letters, while it would mandate installing networked cameras to look over the shoulders of all citizens before they place each letter in an envelope.
- Third, despite the reduction in scope, the imposed detection orders are still indiscriminate: the proposed mandatory scanning targets every citizen, rather than investigating users for which law enforcement has reasonable suspicion that they engage in the exchange of CSAM material. Our phones and the pictures on the phones document our complete lives; giving the government full access to this content is highly intrusive. From a legal perspective, this means that client-side scanning is disproportional and violates the fundamental right to privacy.
- Fourth, there is the risk of mission creep. The proposal focuses on CSAM, but once client-side scanning would be deployed on the devices of the EU citizens, it is trivial to expand the scanning to all images stored on the device and to extend the hash database with new content (terrorism or organized crime) without open democratic oversight. As the database is hashed, there is no transparency on the nature of the content that is being detected. In addition, it is highly likely that less democratic regimes will use client-side scanning to detect at scale content critical of the government. This technology will deliver them instantaneously a list of journalists, human right activists, and opposition members, who spread such content. It is ironic that the EU wants to be seen as a beacon of democracy but would also be prepared to hand to dictators a ready-made tool for mass surveillance.
- Finally, client-side scanning adds complexity to a system providing end-to-end security. Additional interfaces and code have to be added to download and update the database, to perform verifications and to send reports. These mechanisms are extremely sensitive and require very robust secure measures. Any error could enable hackers, criminals, or unfriendly governments to scan the content of devices in a targeted manner or at scale. There is also a substantial risk that the database of hashed images will leak, ultimately weakening protections that are relied on by service providers for detecting abuse in unencrypted environments (such as email, or public photo sharing). Overall, the increased complexity is likely to lead to new vulnerabilities making everyone less secure.
Secure paths forward for child protection
To conclude, we repeat the message from our earlier letter: technocentric solutions based on surveillance are a very poor option to combat the spread of CSAM.
It is important to remember that CSAM content is the output of child sexual abuse. Eradicating CSAM relies on eradicating abuse, not only abuse material and its distribution. Proven approaches recommended by organisations such as the UN for eradicating abuse include education on consent, on norms and values, on digital literacy and online safety, and comprehensive sex education, trauma-sensitive reporting hotlines, and keyword-search based interventions. With client-side scanning, victims who use these very same secure messenger services to communicate with trusted friends or help lines would be at risk of being criminalised through flagging their call for help, and therefore less likely to reach out in the first place.
Educational efforts can take place in partnership with platforms, which can prioritise low barrier reporting of CSAM, high quality educational results in search or collaborate with their content creators to develop engaging resources. Protecting children from (online) abuse while preserving their right to secure communications is critical. We recommend substantial increases in investment and effort to support existing proven approaches to eradicate abuse, and with it, abusive material. Such approaches stand in contrast to the current techno-solutionist proposal, which is focused on vacuuming up abusive material from the internet at the cost of communication security, with little potential for impact on abuse perpetrated against children.
Ich finde es problematisch, dass bei den Problemen als erster Punkt die niedrige Trefferquote genannt wird. Denn auch mit absoluter Treffsicherheit wäre die Chatkontrolle vollkommen inakzeptabel. Es ist vielleicht das einfachste oder überzeugendste Argument, führt aber dazu, dass der ungarische Vorschlag wie ein Kompromiss aussieht, der er nicht ist.
Ganz ehrlich:
Das ist ja bei weitem nicht der erste offene Brief, den ein Zusammenschluss aus zig Wissenschaftlern an die EU wegen dem Thema schreibt.
Ich frage mich, ob die Politiker sich das überhaupt durchlesen.
Wenn man bedenkt wie oft schon davor gewarnt wurde -auch von Wissenschaftlern – und es trotzdem immer wieder versucht wird… würde ich vermuten, entweder sie lesen es erst gar nicht, oder sie sagen sich „S***** darauf, was die sagen, die haben keine Ahnung, wir und unsere Experten wissen alles besser“
Aber es geht doch um die Kinder! — Außerdem haben einige der „Wissenschaftler“ Dreck am Stecken. Die sind korrupt, wie Frau von der Leyen „bewiesen“ hat. Und auch die TAZ hat von sexuellen Vorwürfen berichtet. Gut, Golem hat klargestellt, dass diese Vorwürfe erlogen waren, Aber da die Vorwürfe von einer Frau kamen (die niemals lügen) ist die TAZ (und andere „feministische“ Medien) nicht von den Lügen abgewichen. — Außerdem geht es um Kinder!! —
Von der internationalen Schmutzkampagne, Gesichter Frau von der Leyen und Ashton Kutsher, brauchen wir gar nicht reden. Netzpolitik hat berichtet, dass jeder Abgeordnete über ein dutzend verdeckte Operationen und gekaufte Medien fertig gemacht wird. — Es ist ein Wunder, dass die Chatkontrolle noch nicht durch ist, bei dem was geheime Organisationen aus Privatüberwachung und Geheimdiensten für Propaganda und Vernichtung treiben. — Netzpolitik wurde ja auch schon mit Kindesmissbrauchringen in Verbindung gebracht, um die Reputation zu schädigen. Gib dem ganzen noch ein paar Tage, dann wird Herr Beckedahl dem Vorwurf der Vergewaltigung bezichtigt. Um das wichtigste deutsche Sprachrohr gegen die Chatkontrolle zu vernichten. — Mich wundert deshalb nicht, warum große Medien wie Golem oder Heise so selten wie möglich nicht berichten. Die haben wahrscheinlich auch schon Ansagen aus der Chefetage bekommen. Ich frage mich nur, warum Netzpolitik weiter so zurückhaltend ist, statt journalistisch. Von dem internationalen Komplott aus Politik und Privatwirtschaft mit aufgedeckter Verschwörung, welche die NSA in den Schatten stellt, hört man nichts. Das war Aufreger vor ein paar Monaten, danach weg und heute weiss es keiner mehr.
Es wird das Letzte sein, ganz eindeutig. Salamitaktik und Weichkochen.
Denkt hier überhaupt noch einer an die Kinder, oder wieso warnen Wissenschaftler vor der Chatkontrolle? Wie KRANK muss eine Gesellschaft sein, das sie sich nicht für die Kinder einsetzt.
DENKT ALLE DOCH BITTE AN DIE KINDER!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
So und ich gehe jetzt weiter vor meinen Kindern rauchen und unterstütze Industrien, welche offensichtlich kein Problem mit Kinderarbeit haben! Warum ist alles nur so teuer!!
///////
Die Nachricht oben ist Realsatire.
Wer hat denn den Kindern die Waffe „Smartphone/Tablett“ in die Hand gegeben?
Wieso nutzen die Kinder unangemessene Applikationen?
Wieso sind die Kinder im bösen Medium unterwegs, ohne Aufsicht und Begleitung?
Wieso nutzt man kein Proxy und Firewall im Heimbereich?
Wieso nutzt man keine Gefilterte DNS von kostenpflichtigen Anbieter?
Wieso ist keine Internet Security Lösung auf diese Waffen „Samrtphone/Tabletts“ installiert?
Moderne Internet Security Lösungen bieten Elternfreigabenanforderung für vieles.
Zu dem Bild der mit einer Kamera überwachten Briefeschreiber:
Sehr passend! Überhaubt, ich finde die Sicht der Wissenschaftler hier vollständig zutreffend.
Es fehlt allerdings die Anmerkung, dass die „Bilder“ der Kamera nicht an die Behörden gehen. Sie gehen an Meta, Google und Microsoft. Die 99,99% der unschuldigen und privaten Inhalte gehen nur an diese Konzerne!
Selbst wenn es gelänge, Missbrauch durch persönliche Haftung bis in die Konzernspitzen zu minimieren oder selbst wenn Firmen gar nicht „evil“ wären, die Firmen hätten einen staatlichen Auftrag, genau das zu optimieren, wovon sie am meisten profitieren. Sie schaffen die Normalität der Überwachung, die sie selbst seit Jahren illegal praktizieren. Sie „erziehen“ ganze Gesellschaften und Generationen etwa in unserem Medien- und Konsum- bis hin zu Wahlverhalten. Mit dem Schutz von Kindern hat das alles gar nichts zu tun.
Da können Wissenschaftler noch so Recht haben, gegen die Monopole und Konzerne hilft das alles nichts.
Die Behörden sind aber nicht mehr draußen. Das Märchen von den guten privatwirtschaftlichen Datenhortern als „Balance“ gegenüber dem potentiell übergriffigen Staat, kommt an keiner Stelle hin. Weder sind die gut, noch balanciert irgendwas, noch enthält sich der Staat des Zugriffs. Im Gegenteil, es wird zum direkten Durchgriff.
Das Lesen jeder Nachricht vor dem Versenden ist vergleichbar damit, dass die Post JEDEN Brief und jedes Paket öffnet. Vielleicht verstehen die Politiker*innen das so besser? Das würde nämlich keiner wollen und das wäre auch rein logistisch nicht machbar.
…und nur weil es „mit dem Computer machbar“ ist, heißt es nicht, dass man es tun sollte ohne Rücksicht auf Konsequenzen wie beschrieben.
Der Vergleich wäre bei der verschlüsselten Kommunikation nicht das Öffnen des Briefes, sondern die Installation von Kameras, die filmen, was geschrieben wird, bevor der Brief in den Umschlag gesteckt wird. In diesem Bild wäre der Umschlag die Verschlüsselung (was nur vereinfacht als Bild passt).
Wenn man aber ein vereinfachtes Bild zeichnen möchte (vermutlich, dass es auch die digital nicht so versierten Politiker verstehen), finde ich schon die Analogie der „vernetzten Kameras“ unnötig komplex. Es hätte doch einfach gereicht zu schreiben, dass jeder Brief vor dem Verschließen des Umschlags von einer Kontrollstelle gelesen wird, um potenziell rechtswidrige Inhalte zu finden. Überlegungen über die technische Umsetzung einer solchen Analogie, die sowieso nur zur Veranschaulichung dient, lenken doch nur vom eigentlichen Problem ab.
Wer heute Chatkontrolle fordert, der wird morgen auch die privaten XMPP Server verbieten … Unpostalisch!
Und wird mich nicht wundern, wenn dann auch die CB-Funker nen Lizenz mit Rufzeichen haben müssen. … Und das nicht gemogelt wird, digitalisieren wir noch den CB-Funk, mit Rufzeichenbranding das sich bei jeder PTT Betätigung automatisch ausstrahlt.
Wenn ich das lese: „DENKT ALLE DOCH BITTE AN DIE KINDER“
Bei diesem denke ich immer wieder am TV Sender RTL, wo oft genug Werbung für Kondome, Vibratoren, usw. an ungeeignete Tagen und Uhrzeiten liefen! An Radiosender die strahlen täglich morgens bis abends Musik aus, der Text sexistisch ist!
Wo beibt hier der Kinder- u. Jugendschutz??